Hemsworth sinh tại Melbourne, Australia, với Leonie (née van Os), một giáo viên tiếng Anh và Craig Hemsworth, một cố vấn về dịch vụ xã hội. Hai anh trai của anh là Chris và Luke Hemsworth, cũng là những diễn viên. Ông nội của anh là người nhập cư Hà Lan, và tổ tiên khác của anh là Anh, Ailen, Scotland, và Đức. Hemsworth đã nói rằng mặc dù có sự cạnh tranh giữa các công việc trong họ, nó thân thiện: "Chúng tôi là anh em và chúng tôi luôn cạnh tranh, nhưng nó là một điều tốt, nó thúc đẩy chúng tôi và chúng tôi luôn hạnh phúc về điều đó."

Khi Hemsworth được 8 tuổi, anh và gia đình anh chuyển đến Phillip Island, một hòn đảo nhỏ phía đông nam Melbourne. Hemsworth nói anh đã dành nhiều thời gian để lướt cùng anh em mình. Tháng 3 năm 2009, Hemsworth chuyển đến Mỹ để theo đuổi sự nghiệp của mình ở đó. Anh và anh trai Chris đầu tiên ở lại nhà nghỉ của quản lý của Chris, William Ward, trước khi thuê căn hộ ở Los Angeles.